什么？Sora生成的短片还得人为后期修啊？！
点击上方蓝字CG世界关注我们
距离年初OpenAI祭出新杀器→文本生成视频模型Sora，已经过去快3个月。这3个月以来，江湖上就没断过关于Sora的传说。
虽然未开放公测，但OpenAI已经与部分艺术家、设计师和电影制作人进行了合作。在3月份的时候，还公布了首批获准提前使用Sora的艺术家们作品。
其中加拿大多媒体制作公司Shy Kids的作品《Air Head》，更是受到广泛关注。
Sora的强大毋庸置疑，在它的加持下，三人团队（制片人：Sidney Leeder、编剧兼导演：Walter Woodman、后期制作：Patrick Cederberg），仅用不到两周，就完成了一部质感、成色都属上乘的短片。
Shy Kids制作公司以创新和另类的媒体制作方式闻名于业界，有"朋克摇滚版的皮克斯"之称。靠着独特的叙事风格和引人入胜的创意内容赢得了业内外的认可，作品曾获得过艾美奖提名，并入围过奥斯卡长名单。
《Air Head》保持着Shy Kids一贯风格，巧妙运用视觉元素讲述故事的同时，融入原创音乐，将影像与音乐完美结合，引发观众情感上的共鸣。
最近，Shy Kids团队公开了《Air Head》的制作幕后，却将自己推上风口浪尖。
处于成长阶段的Sora,虽然可以呈现出色的画面，但对于一些来说也仅仅是"将将及格"的程度，更远达不到导演们想要的完美。
因此制作《Air Head》，仍需大量的人工参与（如创意设计、内容编排、节奏把控等）。除了Sora，还用到了其他软件进行后期处理、调色、合成、特效等工作。
是的，Sora只是团队使用的众多工具之一，并非唯一。
真相曝光，网友坐不住了，奋起吐槽这完全是误导性营销！
使用After Effects手动编辑,将气球放置到位,去除人物的头部,调整颜色...这哪里是AI生成的视频，这分明只是使用了AI技术的视频
这……要不咱们还是先来看看《Air Head》的幕后吧，也许看完大家就有各自的判断了。
角色/场景生成
目前Sora的用户界面还不支持多模态输入(如图像、视频等)，只允许输入文本提示。Sora非常擅长在单个视频镜头内保持物体的一致性，但确无法再不同镜头之间保持物体一致性，即便使用了完全相同的提示词，生成的视频也不尽相同。
为了最大限度的保持一致性，团队使用提示语尽量详细的描述人物的服装、气球的类型等细节。诚然，Sora根据提示生成的视频质量都很高，但最终呈现效果，还是要取决于创作者对Sora生成镜头方式（隐式或显式镜头）的理解程度。
《Air Head》的场景，是通过相似剧本生成的多个片段创建的。
虽然素材都是Sora生成，但是并没有确切的方法，能使每个镜头中头部黄色气球的形象保持一致。有时气球上会嵌入一张脸，有时生成的气球甚至不是黄色；由于气球通常都有绑绳,所以生成的视频中，会有一根系绳垂在角色的衬衫前面，这些都需要在后期进行移除。
团队对其中很多画面都进行了分级(color grading,调整颜色)、后期特效处理以及画面稳定等加工。
除了需要将气球与背景隔离开来,以便对气球本身重新上色之外,还需要在AE中对生成图像时产生的瑕疵进行修复和加工。
原则上，原始提示词会被自动扩展，同时显示在一个时间线上，用户可以在生成的视频中调整关键帧，以实现自己想要的变化。
而在实际生成时，目前的Sora对时间控制并不精准，有一定随机性。有点类似碰运气，不能确保每次都达到用户预期效果。
此外，Sora允许用户选择视频的长宽比这一点，为团队带来了一定便利（特别是在拍摄从主角的牛仔裤移动到他的气球头这一镜头时）。
可也存在一定局限，比如Sora无法自动渲染某些特定的镜头移动，总是希望视频的主要焦点物体(这里指气球头)始终出现在画面中。
为了解决这个问题,团队采用纵向模式渲染镜头、后期再通过手动裁剪来实现向上移动的效果。
摄像机运动方向
对于许多生成式AI来说，训练数据附带的元数据(如相机元数据)是宝贵的信息来源。然而，在电影镜头中，一些如跟踪、平移、倾斜或推进等重要概念，并不是在元数据中捕获的。
描述镜头运动的能力对于视频生成至关重要，但最初OpenAI的开发人员主要关注点都在图像生成，因此初始版Sora并没有这一功能。其实这也并非个例，几乎所有视频生成AI公司都面临同样问题。
渲染时间
Sora可以渲染从3秒-1分钟不同时长的剪辑视频，受到渲染当天时间和云端使用量需求不同的影响，导致渲染同段视频所需的时间也并不固定。
团队发现，渲染3秒和20秒的视频，所需渲染时间都在10-20分钟之间。因此选择了渲染较大时长的素材，以便在后期剪辑和编辑时能够有更多的选择，增加找到理想素材的几率。
为了节省渲染时间，团队使用Sora生成的原始素材分辨率都在480p，后期再使用Topaz进行采样或压缩处理，来提高这些素材的分辨率。
编辑、拍摄比例300:1
Shy Kids采用类似纪录片后期的制作和编辑方法。即从众多素材中编织出故事情节,而不是严格按照剧本拍摄。这部短片虽然有剧本,但考虑到有大量的镜头素材可供挑选，团队决定保持一定灵活性。
最终组成影片的一分半素材来自数百个10-20秒的片段镜头，粗略估算原始生成的素材与最终成片的比例是300:1。
慢镜头
在《Air Head》中,团队并没有将多个镜头合成在一起，如气球飘过赛车场的镜头都是在单个镜头中生成的。
出于未知原因，在《Air Head》中Sora生成了很多看起来像是慢动作拍摄的镜头片段。为避免影响整部作品的呈现效果，团队在剪辑时对时间进行了重新调整，让短片看起来像是实时拍摄。
灯光和调色
为了让Sora生成理想画面，Shy Kids团队将 “35 mm film”作为了关键词。如果需要高对比度,可以在关键词中加入“high contrast”；如果需要特定的灯光效果，可以在提示中加入“key lighting”；通常Sora就会生成比较接近团队要求的结果。
尽管可以通过文本提示控制基本的画面风格,也还需要对生成素材进行全面的调色处理。团队最终选择了数字电影风格,在生成素材的基础上手动添加颗粒、闪烁等效果,来提升整个画面质感。
音效
Shy Kids除了视觉技能外，在音频方面也很出色，《Air Head》的音乐就是他们自己创作的。
创作期间当他想要增加节拍，就会写一行新歌词，然后用Sora生成更多的素材。他表示在陷入创作瓶颈时，这些素材能够提供很好的灵感，帮助他来解决节奏问题。
除了负责后期制作，Patrick还负责短片主角的配音。
版权
OpenAI不允许生成侵犯版权或肖像权的内容，在早期测试阶段，Shy Kids就曾因为输入“类似阿罗诺夫斯基的镜头”这类关键词，而遭到Sora的拒绝。
除了为大家揭秘幕后，Shy Kids团队透漏已经着手为《Air Head》制作续集了，是一部更加精彩，更能体现人物自我意识，又略带点讽刺意味的短片。
虽然但是，OpenAI在发布这些视频的时候并没有对制作过程多做介绍，现在看来是有那么点“忽悠”，多少有点伤害网友感情了
不过，Sora未来还有很大进步空间，像Shy Kids这样把它变成工作流里的一部分，好像也挺不错…
对此，小伙伴们，你们怎么看？
以为照片，看到最后竟然是渲的！
UE5.4在影视动画制作中的五大优势功能